Update libgsystem

admin: Rename prune -> cleanup, avoid doing repo prune twice

Calling it "cleanup" is better since it does more than repo pruning.

We were also doing a prune twice; ot_admin_cleanup() already does one,
so drop the bits to do it in cleanup.c.

admin: Initialize sysroot to / by default, not garbage from the stack

Oops.

admin status: Print out origin too

This is useful data.

main: Also make ostree admin foo --help work

A followup for the previous commit.

main: Only parse options in subcommands

This makes e.g. "ostree commit --help" work, which is really good.

main: Don't look for /sysroot/ostree too

No longer necessary now that we expect OS/ trees to have
/ostree -> /sysroot/ostree.

Use AC_USE_SYSTEM_EXTENSIONS instead of #define _GNU_SOURCE

It's less copy/paste, works everywhere, etc.

Also fix some missing #include "config.h".

main: Print "error: " prefix on errors

It's just clearer that something went wrong.

admin: Add a warm fuzzy message to deploy about transactions

Since it sounds cool and stuff.

TODO: Misc updates

Delete leftover kernel update hooks

Build without libsoup again

ostree: Some header file cleanups

cmd: Drop "ostree admin install" and curl fetcher

It isn't useful at the moment, since the deploy stuff all changed.  It
will make sense to bring back later, but for now let's not carry
broken untested code.

libostree: Move pull code into here

More library work.

libostree: Move prune into OstreeRepo namespace

More library work.

libostree: Rename ostree-traverse.h into OstreeRepo namespace

This operates on the repo, it might as well be methods on it.

libostree: Split off -refs.c

Continuing to break up ostree-repo.c.

libostree: Split off libarchive code

libostree: Start splitting up the monstrous ostree-repo.c

Checkout now lives in its own file.

Switch to #pragma once for headers

It's just less tedious, and we're GCC/LLVM specific anyways.

pull: Explicitly use thread-default main context

As preparation for pushing our own temporary context.

admin: Use internal pull API instead of subprocess

So we're doing more of the library thing.

pull: Destroy queue watching GSource

When being more of a library, we can't leave garbage attached to the
default main context.

core: Move pull logic into an API

The general trend should be becoming more of a shared library with
command line wrappers.

pull: Add "tls-permissive" config option to disable SSL/TLS certificate checks

Like GIT_SSL_NO_VERIFY=true, available for the same reasons.

pull: Verify SSL/TLS certificates against system CA file by default

We also need a mechanism like GIT_SSL_NO_VERIFY...probably an option
in the config.

prepare-root: Don't be strict about the sysroot mount name here

While the systemd integration effectively requires /sysroot, it will
help people trying to use OSTree with other initramfs systems
(e.g. initramfs-tools) if we don't hardcode that requirement in this
tool.

tests: Add a test of corruption during a pull process

These corruption tests could be a lot better...like randomly try
single bit flips, range flips.  Better, content-aware fuzzing.  But
this is useful for now.

tests: Drop numeric prefix

Theoretically it's useful to have layers of tests, but in practice
it's just annoying to assign numbers.

Fix test reference to obsolete ostree-pull

It was leftover in my buildroot =/

repo: Store transaction file, use it to optimize for pull resumes

If pull is interrupted, we may have downloaded an arbitrary subset of
the requested objects.  Previously, we handled this by scanning for
all objects each time.

However, there's an easy optimization - this patch creates a lock file
in the repo.  If we don't see that file when starting a pull, we know
we don't need to stat() every file; presence of a dirtree object for
example implies the existence of everything it references.

Drop obsolete GRUB2 and kernel update hooks

We only support syslinux at the moment; grub2 should learn to parse
the bootloader spec.

Release 2013.3

Add a few more bits to EXTRA_DIST

Remove stub daemon code

This really shouldn't have lived so long...it does nothing now, and we
should probably just be exposing an API for packagekit anyways.

Remove built in "triggers"

Originally, the idea was that clients would replicate "OS/tree"s from
a build server, but we'd run things like "ldconfig" on the client.
This was to allow adding e.g. the nVidia binary driver.

However, the triggers were the only thing in the system at the moment
that really had expected knowledge of the *contents* of the OS, like
the location of binaries.

For now, it's architecturally cleaner if we move the burden of
triggers to the tree builder (e.g. gnome-ostree or RPM).  Eventually
we may want OSTree to assist with this type of thing (perhaps
something like RPM %ghost), but this is the right thing to do now.

admin: Fix various compiler warnings

admin: Also delete unsed boot directories

My VM filled up /boot.  Oops.

admin: Split up the monstrous ot-admin-functions.c

Now util, cleanup, and functions.

Switch to libgsystem local allocation macros

And drop our compatibility wrapper.

[INCOMPATIBLE CHANGE] Implement new deployment model

See https://wiki.gnome.org/OSTree/DeploymentModel2

This is a major rework of the on-disk filesystem layout, and the boot
process.  OSTree now explicitly supports upgrading kernels, and these
upgrades are also atomic.

The core concept of the new model is the "deployment list", which is
an ordered list of bootable operating system trees.  The deployment
list is reflected in the bootloader configuration; which has a kernel
argument that tells the initramfs (dracut) which operating system root
to use.

Invidiual notable changes that come along with this:

1) Operating systems should now come with their etc in usr/etc; OSTree
   will perform a 3-way merge at deployment time, and place etc in
   the actual root.  This avoids the need for a bind mount, and is
   just a lot cleaner.
2) OSTree no longer bind mounts /root, /home, and /tmp.  It is expected
   that the the OS/ has these as symbolic links into /var.

At the moment, OSTree only supports managing syslinux; other
bootloader backends will follow.

deploy: Error out if we see usr/etc

This version of the code doesn't know what to do with new-model trees,
so just abort if we see that.  We'll likely never care about upgrades
from 1.0 to 2.0.

core: Allow '.' in refspecs too

For version numbers.

Add "trivial-httpd" builtin, use it in tests

A simple HTTP server implementation is so few lines of code when one
is linking to libsoup anyways, so let's just have one here in ostree
that will be used for the test suite.

This allows us to run the archive tests that previously required
apache even in gnome-ostree.

tests: Pull from file:/// only works with archive-z right now

pull: Make fetcher work for file:/// URIs too

Even if very suboptimally, for now; we copy the files, then copy them
again.

The obvious long term plan is to merge pull-local and pull together,
but truly optimizing that requires the pull code to know how to use
the OstreeRepo APIs when operating on local repositories (as
pull-local does), rather than assuming the remote is an archive-z
fetched over HTTP.

Add support for deleting refs

The internal API will be used by admin, and "ostree refs --delete"
is handy for interactive management.

Add "refs" builtin

This is just useful to look at before pruning, etc.

Add a bit more testing for prune

Extract prune logic into an internal API

This will be used by ostree admin deploy.

pull-local: Support --remote argument

For offline upgrades, pull-local can now write the refs into a
specific remote, rather than using the local heads.

core: Add "refspec" which is remote:refname

This allows an unambiguous reference; otherwise, it was too easy to
have confusion between local heads and remotes.

gioutils: Many new utility functions

Reading symbolic links becomes a much more common thing now.

prepare-root: Only bind mount /home, /tmp, /root if they are directories

What we expect for new systems is for these to be symbolic links:
/home -> /sysroot/home
etc.

core: Port more callsites to gs_file_enumerator_iterate()

See previous commit.

core: Update libgsystem, port some uses of GFileEnumerator

This makes the code *so* much nicer.

pull-local: Fix race condition pointed out by Benjamin

We could drop into g_main_loop_run() after the worker
thread had called g_main_loop_quit().

Fix this by following the pattern suggested by Ryan of a while loop
around our termination condition, and g_main_context_iteration().

pull-local: Fix race condition

https://bugzilla.gnome.org/show_bug.cgi?id=701861

dracut: Add ostree-remount

Linux creates a copy of the soure mount flags when creating a bind
mount; if the source is read-only, then the bind mount is.

The problem is that systemd will remount the rootfs read/write, but
each mount (/home, /var etc.) will still be read-only.  We need to
remount every bind mount except for /usr to read-write too.

This only "worked" with the old ostree-switch-root because it
effectively force mounted the rootfs read-write always, ignoring the
"ro" flag.

dracut: Also ensure we're using the systemd module

I can't work out how this happens otherwise in Fedora...

Add --with-dracut

This installs a Dracut module which parses the ostree= kernel command
line argument, and if given, sets up the OS/ at /sysroot, which
systemd's switch-root then moves into.  This only works if dracut is
configured to use systemd itself.

ostree-prepare-root: Don't require an extraneous argument

ostree-prepare-root: Parse /proc/cmdline, make RPRIVATE, set up /sysroot

This does everything we need except for the actual switch-root.

ostree-prepare-root: New binary, used for systemd-in-initramfs setups

Rather than attempting to hack up the "switch-root" functionality of
systemd, this binary allows us to simply prepare the root before we
switch into it.

Drop support for generating initramfs images client side using dracut

This is the responsibility of whatever is generating filesystem trees.

Fold ostree-pull into main binary

The rationale for the separation was always kind of weak; I want to
refactor the command line argument parsing, and it was complicating
things.

pull: Exit cleanly with an error on failure to fetch refs

upgrade: Actually prune deployments again

That was a rather critical logic error...

TODO: Update

upgrade: Actually deploy upgraded tree again

I need a brown paper bag for this one...

admin: Add -r option to upgrade to initiate a reboot if tree changes

$ ostree admin upgrade -r

is convenient to fire off inside a VM and come back to it later.

upgrade: Don't require specification of osname

Since this is a highly visible command, let's have a sane default and
upgrade the currently running OS.

Add a --version argument that also outputs features

And use it in the tests to skip libarchive tests when the build
doesn't support it.

archive-test: Handle umask of 022 or 002

Red Hat appears to default to 002, whereas Debian systems default
to 022.  Fun.

Install tests

Matching https://live.gnome.org/GnomeGoals/InstalledTests

checkout: Add --allow-noent option

This is useful for the gnome-ostree build system where each build is
one commit, but it's split up into /runtime /devel /debug etc. trees.
Ideally we wouldn't have a /debug subdirectory for "noarch"
components for example.

So add an option to not error out if the given path doesn't exist in
the commit.

repo: Fix race condition in async checkout

When multiple threads need to uncompress an object, there was
a race condition where thread A could get EEXIST, unlink,
then thread B calls linkat(), then thread A tries to link() but
fails.

We can just loop in this case.

libotutil: Drop is-hidden from fast queryinfo

Since now we look at .hidden files and bang on the mainloop for every
file lookup if that's specified =(

libgsystem: Update to latest

deploy: Swap current symlink only after updating the kernel

While this still isn't fully atomic (that depends on the bootloader),
this better ensures that the deployed kernel is booted with the
intended tree.  For example, if we get ENOSPC when writing out the
kernel, we won't have swapped the symlink.

libgsystem: Update

pull-deploy: Tweak documentation to show using it for switching trees

admin: Use linkcopy_sync_data() for initramfs instead of rename()

It's possible (likely even) that /tmp is on a separate filesystem; in
that case, a raw rename() is going to fail.

Saw this on the ostree.gnome.org builder.

prune: Use g_format_size() so we get a human-readable number

We don't really care about the precise bytes.

waitablequeue: Only use API from GLib 2.34

As intended.

Release 2013.2

build: Add scripts to EXTRA_DIST

...because Automake apparently doesn't.

switchroot: Suppress compiler warning for asprintf

We're not going to run OOM here, if we do, we're totally screwed
anyways.

Release 2013.1

pull: Rework threading communication model

Previously, I've observed bugs where we either:
1) Exit too early, leaving undownloaded objects
2) Hang while downloading

This rewrite hopefully fixes both.

run-apache: Use -DFOREGROUND, not -X

-X implies debug mode which limits the workers to 1, which totally
kills parallelism.

core: Fix object enumeration for archive-z2 repositories

This makes fsck work again, among other things.

pull: Drop support for original archive repositories

For future refactoring here, it's just too complex to maintain support
for both of them, and the advantages of archive-z2 outweigh archive
too much.

tests: Update expected diff output

For previous diff commit.

admin: Assume we're using /ostree if there's a toplevel /usr

Mainly so admin install works without an existing /ostree again.

admin: Support installing pregenerated initramfs images from tree

Us running dracut is a hack, basically.  We should default to
generating this on the server.

build: Bump GLib dependency to 2.34.0

Just cleaner than an unstable version.

config-diff: Properly print files relative to root

Just less ugly.